| |
|
|
|
Registro Completo |
|
Biblioteca(s): |
Embrapa Pecuária Sudeste. |
|
Data corrente: |
10/05/2023 |
|
Data da última atualização: |
10/05/2023 |
|
Tipo da produção científica: |
Artigo em Periódico Indexado |
|
Autoria: |
VILELA, F. DE A.; TIMES, V. C.; BERNARDI, A. C. de C.; FREITAS, A. DE P.; CIFERRI, R. R. |
|
Afiliação: |
FLÁVIO DE ASSIS VILELA, Federal Institute of Goiás; VALÉRIA CESÁRIO TIMES, Federal University of Pernambuco; ALBERTO CARLOS DE CAMPOS BERNARDI, CPPSE; AUGUSTO DE PAULA FREITAS, Federal University of São Carlos; RICARDO RODRIGUES CIFERRI, Federal University of São Carlos. |
|
Título: |
A non-intrusive and reactive architecture to support real-time ETL processes in data warehousing environments. |
|
Ano de publicação: |
2023 |
|
Fonte/Imprenta: |
Heliyon, v. 9, n. 5, e15728, may 2023. |
|
Páginas: |
25 p. |
|
DOI: |
https://doi.org/10.1016/j.heliyon.2023.e15728 |
|
Idioma: |
Inglês |
|
Conteúdo: |
Nowadays, organizations are very interested to gather data for strategic decision-making. Data are disposable in operational sources, which are distributed, heterogeneous, and autonomous. These data are gathered through ETL processes, which occur traditionally in a pre-defined time, that is, once a day, once a week, once a month or in a specific period of time. On the other hand, there are special applications for which data needs to be obtained in a faster way and sometimes even immediately after the data are generated in the operation data sources, such as health systems and digital agriculture. Thus, the conventional ETL process and the disposable techniques are incapable of making the operational data delivered in real-time, providing low latency, high availability, and scalability. As our proposal, we present an innovative architecture, named Data Magnet, to cope with real-time ETL processes. The experimental tests performed in the digital agriculture domain using real and synthetic data showed that our proposal was able to deal in real-time with the ETL process. The Data Magnet provided great performance, showing an almost constant elapsed time for growing data volumes. Besides, Data Magnet provided significant performance gains over the traditional trigger technique. |
|
Palavras-Chave: |
Data extraction; Data loading; Data warehouse; ETL; Real time. |
|
Categoria do assunto: |
X Pesquisa, Tecnologia e Engenharia |
|
URL: |
https://ainfo.cnptia.embrapa.br/digital/bitstream/doc/1153634/1/NonIntrusiveReactive.pdf
|
|
Marc: |
LEADER 02051naa a2200253 a 4500
001 2153634
005 2023-05-10
008 2023 bl uuuu u00u1 u #d
024 7 $ahttps://doi.org/10.1016/j.heliyon.2023.e15728$2DOI
100 1 $aVILELA, F. DE A.
245 $aA non-intrusive and reactive architecture to support real-time ETL processes in data warehousing environments.$h[electronic resource]
260 $c2023
300 $a25 p.
520 $aNowadays, organizations are very interested to gather data for strategic decision-making. Data are disposable in operational sources, which are distributed, heterogeneous, and autonomous. These data are gathered through ETL processes, which occur traditionally in a pre-defined time, that is, once a day, once a week, once a month or in a specific period of time. On the other hand, there are special applications for which data needs to be obtained in a faster way and sometimes even immediately after the data are generated in the operation data sources, such as health systems and digital agriculture. Thus, the conventional ETL process and the disposable techniques are incapable of making the operational data delivered in real-time, providing low latency, high availability, and scalability. As our proposal, we present an innovative architecture, named Data Magnet, to cope with real-time ETL processes. The experimental tests performed in the digital agriculture domain using real and synthetic data showed that our proposal was able to deal in real-time with the ETL process. The Data Magnet provided great performance, showing an almost constant elapsed time for growing data volumes. Besides, Data Magnet provided significant performance gains over the traditional trigger technique.
653 $aData extraction
653 $aData loading
653 $aData warehouse
653 $aETL
653 $aReal time
700 1 $aTIMES, V. C.
700 1 $aBERNARDI, A. C. de C.
700 1 $aFREITAS, A. DE P.
700 1 $aCIFERRI, R. R.
773 $tHeliyon$gv. 9, n. 5, e15728, may 2023.
Download
Esconder MarcMostrar Marc Completo |
|
Registro original: |
Embrapa Pecuária Sudeste (CPPSE) |
|
|
Biblioteca |
ID |
Origem |
Tipo/Formato |
Classificação |
Cutter |
Registro |
Volume |
Status |
URL |
Voltar
|
|
|
| Registros recuperados : 9 | |
| 2. |  | LORINI, I.; FERRI, G. C.; FREITAS, A. de M.; ROSSATO, C. Desenvolvimento de Lasioderma serricorne (F.) (Coleoptera: Anobiidae) em grãos de soja armazenada. In: CONFERÊNCIA BRASILEIRA DE PÓS-COLHEITA, 5., 2010, Foz do Iguaçu. Anais ... Londrina: Abrapós, 2010. p. 363-366. il. Organizado por Irineu Lorini, Maria Cristina Zborowski de Paula, Adriano Divino Lima Afonso.| Tipo: Artigo em Anais de Congresso |
| Biblioteca(s): Embrapa Soja. |
|   |
| 3. | | SOUZA, D. W. F. de; VARGAS, A. do N.; LORINI, I.; FREITAS, A. de M.; VAL, J. B. R. do. Efeito da temperatura no controle de Rhyzopertha dominica (F.) (Coleoptera, Bostrichidae) em grãos de trigo. In: CONFERÊNCIA BRASILEIRA DE PÓS-COLHEITA, 6., 2014, Maringá. Anais... Londrina: ABRAPOS, 2014. p. 170-176.| Tipo: Artigo em Anais de Congresso |
| Biblioteca(s): Embrapa Soja. |
|  |
| 5. | | MELO, I. G.; FREITAS, A. de; TEIXEIRA, F. V.; FERRAZ, L. de C. L.; OLIVEIRA-PAIVA, C. A.; MARRIEL, I. E. Aumento de massa seca em plantas de milho adubadas com compostos orgânicos enriquecidos com rochas. In: REUNIÃO BRASILEIRA DE FERTILIDADE DO SOLO E NUTRIÇÃO DE PLANTAS, 32.; REUNIÃO BRASILEIRA SOBRE MICORRIZAS, 16.; SIMPÓSIO BRASILEIRO DE MICROBIOLOGIA DO SOLO, 14.; REUNIÃO BRASILEIRA DE BIOLOGIA DO SOLO, 11., 2016, Goiânia. Rumo aos novos desafios: [anais]. Viçosa, MG: Sociedade Brasileira de Ciência do Solo, 2016. p. 1043. FertBio 2016.| Tipo: Resumo em Anais de Congresso |
| Biblioteca(s): Embrapa Milho e Sorgo. |
| |
| 6. | | SANTOS, K. K. B. dos; FREITAS, A. de; CAMILO, B. G.; OLIVEIRA, A. C. de; OLIVEIRA-PAIVA, C. A.; MARRIEL, I. E. Dinâmica da atividade da urease e arginase durante a compostagem de resíduos agrícolas enriquecidos com rochas potássicas e fosfáticas e bioinoculante. In: CONGRESSO BRASILEIRO DE CIÊNCIA DO SOLO, 35., 2015, Natal. O solo e suas múltiplas funções: anais. Natal: Sociedade Brasileira de Ciência do Solo, 2015.| Tipo: Artigo em Anais de Congresso |
| Biblioteca(s): Embrapa Milho e Sorgo. |
| |
| 7. | | COTTA, S. P. M.; MARINS, M. S.; BATISTA, F. de C.; FREITAS, A. de; OLIVEIRA, M. C.; MARRIEL, I. E.; OLIVEIRA-PAIVA, C. A. Isolamento e seleção de microrganismos termófilos potencialmente úteis para produção de enzimas hidrolíticas. In: REUNIÃO BRASILEIRA DE FERTILIDADE DO SOLO E NUTRIÇÃO DE PLANTAS, 32.; REUNIÃO BRASILEIRA SOBRE MICORRIZAS, 16.; SIMPÓSIO BRASILEIRO DE MICROBIOLOGIA DO SOLO, 14.; REUNIÃO BRASILEIRA DE BIOLOGIA DO SOLO, 11., 2016, Goiânia. Rumo aos novos desafios: [anais]. Viçosa, MG: Sociedade Brasileira de Ciência do Solo, 2016. p. 1001. FertBio 2016.| Tipo: Resumo em Anais de Congresso |
| Biblioteca(s): Embrapa Milho e Sorgo. |
| |
| 8. | | CAMILO, B. G.; GUIEIRO, C. dos S. M.; SANTOS, K. K. B. dos S.; FREITAS, A. de; OLIVEIRA-PAIVA, C. A.; MARRIEL, I. E. Microbial activity in agricultural enriched with rocks, and bioinoculantes. In: CONGRESSO BRASILEIRO DE MICROBIOLOGIA, 28., 2015, Florianópolis. Resumos. Florianópolis: Sociedade Brasileira de Microbiologia, 2015.| Tipo: Resumo em Anais de Congresso |
| Biblioteca(s): Embrapa Milho e Sorgo. |
| |
| 9. | | FORNARE, A.; LORINI, I.; FREITAS, A. de M.; BUENO, A. L. R.; MOREIRA, D. da S.; LIMA, K. P. M.; NOGUEIRA, J. A. G. Tratamento preventivo dos grãos no controle de pragas do trigo armazenado. In: CONFERÊNCIA BRASILEIRA DE PÓS-COLHEITA, 7; SIMPÓSIO PARANAENSE DE PÓS-COLHEITA DE GRÃOS, 10, 2018, Londrina. Anais... Londrina: ABRAPOS, 2018. Trabalho 20. p. 267-271. Organizado por Irineu Lorini, Marcelo Alvares de Oliveira, Lêda Rita D'Antonino Faroni, Vildes Maria Scussel.| Tipo: Artigo em Anais de Congresso |
| Biblioteca(s): Embrapa Soja. |
|  |
| Registros recuperados : 9 | |
|
| Nenhum registro encontrado para a expressão de busca informada. |
|
|
